大数定律

Law of Large Numbers
大量测量值的算术平均值具有稳定性，即频率收敛概率

频率的稳定性是概率存在的基础

随机变量序列：
常表示为 $X_1,X_2,\cdots ,X_n,\cdots$
其中每一个 $X_i$ 都为随机变量

则称序列依概率收敛$X$ ：
设 $X_1,X_2,\cdots ,X_n,\cdots$ 为两两互不相关的随机变量序列
对于任意给定的正数 $\epsilon$, 有 $\underset{n\to \mathrm{\infty }}{lim}P\{|X_n-X|<\epsilon \}=1$

$X_n\stackrel{P}{\to }X(n\to \mathrm{\infty })$

样本均值代替数学期望

三个大数定律结论都相同，只是变换了条件

Chebyshev 大数定律

由切比雪夫不等式得到

$X_1,X_2,\cdots ,X_n,\cdots$ 为一列两两不相关的随机变量序列
期望方差均存在，方差有共同的上界

推论：
$X_1,X_2,\cdots ,X_n,\cdots$ 为一列独立同分布的随机变量序列
期望方差均存在，$E(X_i)=\mu$

Bernoulli 大数定律

$n_A$ 是 n重伯努利试验中事件 A 发生的次数，$p$ 是事件 A 发生的概率

也就是频率 ${\displaystyle \frac{n_A}{n}}$ 趋近于概率 $p$

Khinchin 大数定律

独立同分布的随机变量的均值收敛到数学期望
(不要求方差存在)
$X_1,X_2,\cdots ,X_n,\cdots$ 相互独立，服从同一分布，且具有数学期望 $\mu$
$E_{(}{X}_i)=\mu$

对于任意 $\epsilon >0$, 有：